Trong năm 221 TCN, Tần Thủy Hoàng thành lập huyện Ngô là thủ phủ của quận Cối Kê. Thành phố thường được biết đến với cái tên Cối Kê từ vai trò này trước khi Cối Kê trở lại chính quyền cho đến ngày nay Thiệu Hưng trên bờ nam của vịnh Hàng Châu.

Trong năm 1928, chính phủ ở Trung Hoa Dân Quốc chia nhỏ các khu đô thị ở huyện Ngô và thành lập ra thành phố Tô Châu. Hai năm sau, quyết định được rút lại. Sau khi nước Cộng hòa Nhân dân Trung Hoa được thành lập, thành phố Tô Châu lại được chia tách từ huyện Ngô vào năm 1949. Vào tháng 3 năm 1983, huyện Ngô đã trở thành một quận của thành phố cấp địa khu Tô Châu. Vào tháng 12 năm 2000, nó được chia thành hai huyện, nay được gọi là huyện Ngô Trung và huyện Tương Thành.